package com.coolingme.consumer.nonauto;

import cn.hutool.core.util.StrUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;

/**
 * 消费者客户端，手动同步提交offset
 * <p>
 * 虽然自动提交 offset 十分简介便利，但由于其是基于时间提交的，开发人员难以把握
 * <p>
 * offset 提交的时机。因此 Kafka 还提供了手动提交 offset 的 API。
 * 手动提交 offset 的方法有两种：分别是 commitSync（同步提交）和 commitAsync（异步提交）。
 * 两者的相同点是，都会将本次 poll 的一批数据最高的偏移量提交；
 * 不同点是， commitSync 阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；
 * 而 commitAsync 则没有失败重试机制，故有可能提交失败。
 * <p>
 * 由于同步提交 offset 有失败重试机制，故更加可靠
 *
 * @author wangyue
 * @date 2021/7/16 9:36
 */
@Slf4j
public class ConsumerSyncDemo {

    public static void main(String[] args) {
//        String bootstrapServers = "127.0.0.1:9092";
        String bootstrapServers = "192.168.112.128:9092";

        String topic = "test-topic";

        String groupId = "test-topic-group";

        Integer partition = 0;

        // 配置信息
        Properties properties = new Properties();
        // 连接的集群
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);

        // key,value反序列化
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
//        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
//        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        //关闭自动提交OFFSET，默认值为true
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
        //一次拉取一条数据，默认500条
        properties.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 10);
        // 消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);

        // 重置消费者的offset
        // 当前消费者组不存在或服务上没有数据（如：数据被删除）
        // earliest:重置为最早的offset，获取最早的数据
        // latest:重置为最新的offset，获取最新的数据
        properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

        // 设置日志级别为 INFO
//        properties.put("log4j.rootLogger", "INFO, stdout");

        // 消费者
        KafkaConsumer<?, ?> consumer = new KafkaConsumer<>(properties);
        // 订阅主题,若主题不存在会自动创建
//        consumer.subscribe(Arrays.asList(topic));

        TopicPartition topicPartition = new TopicPartition(topic, partition);
        consumer.assign(Arrays.asList(topicPartition));

        // 是否拉取数据
        boolean isPoll = true;

        while (isPoll) {
            // 拉取数据
            ConsumerRecords<?, ?> records = consumer.poll(Duration.ofMillis(3 * 1000));
            if (!records.isEmpty()) {
                System.out.println(StrUtil.format("共拉取 {} 条数据", records.count()));
            }
            for (ConsumerRecord<?, ?> record : records) {
                System.out.println(StrUtil.format("key= {} ,value= {} ,topic= {} ,partition= {} ,offset= {}",
                        record.key(), record.value(), record.topic(), record.partition(), record.offset()));
            }
            // 同步提交，当前线程会阻塞，知道提交offset成功
            consumer.commitSync();
        }

    }
}

